Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use
Critical-State RL：诊断多轮工具调用中的可训练状态
🧭 多轮工具调用 · 局部 RL 训练 ★ 深度解读
Salesforce AI Research
用训练前嵌套采样分离动作相关方差与续采样噪声，定位多轮工具调用中真正值得训练的单个模型调用，再做局部 RL
📌 工作参考价值（4 点）
- 多轮 agent（电商导购、客服、工具调用）不要直接用 trajectory-level reward 训练所有 turn：先在一个 frozen policy 上做训练前诊断，估计每个候选 turn 的 action-dependent variance，选出真正可训练的 occurrence。
- 局部 occurrence-level RL 只对选中的 response 计算 loss，其他 turn 只提供 context 或 reward、不接收梯度。这能减少无关 turn 的梯度污染，适合从线上 logged interactions 中做低成本优化。
- 对工具调用类场景，可以按任务结构构造 occurrence-local label：如 no_write(adec) × consequence(yrec)、keyword retention proxy 或 repeat_of_history；用参考策略 headroom 过滤已经饱和的状态，避免在无改进空间的地方浪费训练。
- 工程实现上，嵌套采样用 S_between^2 - S_within^2 / m 估计 V_act，训练前无需训练 critic；对每个 candidate 采 n 个 actions × m 个 continuations 即可。负值估计保留，只做排序选择，成本低且可跨模型/任务迁移。